Little bắt đầu sự nghiệp dưới vai trò là một ca sĩ và người chơi guitar cho ban nhạc pop punk Goodnight Nurse. Ban nhạc đã phát hành hai album phòng thu, Always and Never (2006) và Keep Me On Your Side (2008), cả hai album đều đứng vị trí thứ năm trên bảng xếp hạng top 40 album của the New Zealand. Hai album này đều chứa những đĩa đơn và bài hát nổi tiếng trên các đài phát thanh, bao gồm năm đĩa đơn lọt vào top 40 ở New Zealand từ năm 2004 đến năm 2008.[3]

Cùng với Sam McCarthy, cũng là một người chơi guitar cho Goodnight Nurse, Little sản xuất và đồng sáng tác một số lượng lớn các bài hát cho album đầu tay của nhóm nhạc mới của McCarthy, bộ đôi electro pop Kids of 88.[4] Album này, có tựa đề Sugarpills, được phát hành năm 2010 và ra mắt tại vị trí á quân trên bảng xếp hạng album của New Zealand.[5] Sugarpills bao gồm ba đĩa đơn nổi tiếng, "My House", "Just a Little Bit" và "Downtown", tất cả đều được đồng sáng tác bởi Little. "Just a Little Bit" chiến thắng hạng mục Đĩa đơn của năm tại Giải thưởng Âm nhạc New Zealand năm 2010.[6]

Năm 2011, Little dựng một xưởng sản xuất âm nhạc của riêng anh, Golden Age, tại Morningside, Auckland.[7]

Năm 2012, Little đồng sáng tác, sản xuất, thu âm và phối khí EP The Love Club cho Lorde tại Golden Age.[8] Hai đĩa đơn "Royals" và "Tennis Court" đều đạt vị trí quán quân tại New Zealand năm 2013,[9] trong khi đó EP The Love Club được chứng nhận đĩa Vàng tại New Zealand và đĩa Bạch kim tại Úc.[10][11] Little ngoài ra cũng đồng sáng tác, sản xuất, phối khí, chỉnh sửa và chơi các nhạc cụ cho album phòng thu đầu tay của Lorde, Pure Heroine, được phát hành trên toàn thế giới vào ngày 30 tháng 9 năm 2013.[12]